オーディオ信号のフィンガープリントを計算するための装置及び方法、同期のための装置及び方法、並びに試験オーディオ信号の特徴付けのための装置及び方法

专利摘要:
オーディオ信号のフィンガープリントを計算するために、オーディオ信号がサンプルの連続ブロックへと分割（１０４ａ）される。連続ブロックについて、それぞれに１つのフィンガープリント値が計算（１０４ｂ）され、連続ブロックのフィンガープリント値が比較（８０６）される。ブロックのフィンガープリント値が次のブロックのフィンガープリント値よりも大きいか否かにもとづき、バイナリ値が割り当てられ、バイナリ値の列についての情報が、オーディオ信号のフィンガープリントとして出力（１０４ｃ）される。
公开号:JP2011512554A
申请号:JP2010546255
申请日:2009-02-10
公开日:2011-04-21
发明作者:ウォルフガング・フィーゼル；セバスチャン・シャーレル；マティアス・ノイジンガー
申请人:フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン；
IPC主号:G10L19-00

专利说明:

[0001] 本発明は、オーディオ信号のためのフィンガープリント技術に関し、特にフィンガープリントの計算、マルチチャネル拡張データをオーディオ信号に同期させるためのフィンガープリントの使用、ならびにフィンガープリントによるオーディオ信号の特徴付けに関する。]
背景技術

[0002] 現在の技術開発は、データ削減によるオーディオ信号のさらに効率的な伝送を可能にするとともに、マルチチャネル技術の使用などによる拡張によって、オーディオの楽しみを増すことも可能にしている。]
[0003] 一般的な伝送技術のそのような拡張の例が、「Binaural Cue Coding」（ＢＣＣ）ならびに「Spatial Audio Coding」という名前で知られている。これに関し、典型的には、J. Herre、 C. Faller、 S. Disch、 C. Ertel、 J. Hilpet、 A. Hoelzer、 K. Linzmeier、 C. Spenger、 P. Kroonの「Spatial Audio Coding: Next-Generation Efficient and Compatibel Coding Oberflache Multi-Channel Audio」、117thAES Convention、San Francisco 2004、Preprint 6186が参照される。]
[0004] ラジオ又はインターネットなどのシーケンシャル動作の伝送システムにおいて、このような方法は、伝送すべきオーディオ番組を、モノラル又はステレオのダウンミックスオーディオ信号であってよいオーディオ・ベース・データ又はオーディオ信号と、マルチチャネル付加情報又はマルチチャネル拡張データと呼ぶこともできる拡張データとに分離する。マルチチャネル拡張データを、オーディオ信号と一緒に、すなわち組み合わせて送信することができ、又はマルチチャネル拡張データを、オーディオ信号とは別に送信することもできる。ラジオ番組の送信に代わるものとして、マルチチャネル拡張データを、例えばユーザ側にすでに存在するある種のダウンミックスチャネルへ別途送信することもできる。この場合、オーディオ信号の伝送は例えばインターネットのダウンロード、又はコンパクトディスクもしくはＤＶＤの購入の形態で行われ、それは例えばマルチチャネル拡張データサーバから供給することができるマルチチャネル拡張データの伝送とは空間的及び時間的に別に行われる。]
[0005] 基本的に、マルチチャネルオーディオ信号をオーディオ信号とマルチチャネル拡張データに分離することには、以下の利点がある。「クラッシック」な受信機が、マルチチャネル付加データの内容及びバージョンにかかわらずに、オーディオ・ベース・データ、すなわちオーディオ信号を常に受信して再生することができる。この特徴は、下位互換性と称される。加えて、より新世代の受信機であれば、送信されてきたマルチチャネル付加データを評価して、完全な拡張（すなわち、マルチチャネルのサウンド）をユーザへ提供できるようなやり方で、オーディオ・ベース・データ（すなわち、オーディオ信号）に組み合わせることができる。]
[0006] デジタルラジオにおける典型的な応用の筋書きにおいては、これらのマルチチャネル拡張データの助けによって、これまでに送信されてきたステレオオーディオ信号を、ほとんど追加の送信の労苦なしに、マルチチャネルフォーマット５．１へ拡張することができる。マルチチャネルフォーマット５．１は、５つの再生チャネル、すなわち左チャネルＬ、右チャネルＲ、中央チャネルＣ、左後ろチャネルＬＳ（左サラウンド）、及び右後ろチャネルＲＳ（右サラウンド）を有する。このために、番組提供者は、例えばＤＶＤ／オーディオ／ビデオにおいて見られるようなマルチチャネルの音源から、送信機側においてマルチチャネル付加情報を生成する。次いで、このマルチチャネル付加情報を、以前のとおり送信され、今やマルチチャネル信号のステレオダウンミックスを含んでいるオーディオステレオ信号と並列に送信することができる。]
[0007] この方法の１つの利点は、これまでの既存のデジタルラジオ送信システムとの互換性にある。この付加情報を評価することができないクラッシックな受信機は、品質に関していかなる制約も受けることなく、以前のとおりに２チャンネルのサウンド信号を受信して再生することができる。]
[0008] 一方で、新規な設計の受信機は、マルチチャネル情報を評価及びデコードし、これまでに受信されていたステレオサウンド信号に加えて、マルチチャネル情報から元々の５．１マルチチャネル信号を再現することができる。]
[0009] これまでに使用されてきたステレオサウンド信号の補足として、マルチチャネル付加情報の同時送信を可能にするために、デジタル・ラジオ・システムによる互換性のある送信において２つの解決策が可能である。]
[0010] 第１の解決策は、マルチチャネル付加情報を、オーディオエンコーダによって生成されるデータストリームへ適切かつ互換性のある拡張として付加できるように、コード済みのダウンミックスオーディオ信号に組み合わせることである。この場合、受信機は、１つの（有効な）オーディオ・データ・ストリームのみを受け取り、それ相応に進んだデータ分配器によって、マルチチャネル付加情報を関連のオーディオ・データ・ブロックに同期して再び抽出及びデコードし、５．１のマルチチャネルサウンドとして出力することができる。]
[0011] この解決策は、今や以前のような単なるステレオオーディオ信号ではなくて、ダウンミックス信号と拡張部とで構成されるデータ信号を運ぶことができるように、既存のインフラストラクチャ／データ経路を拡張することを必要とする。これは、例えば、データ削減の実例、すなわちダウンミックス信号を伝送するビットストリームの場合に、追加の労苦なく可能であり、あるいは問題が少ない。これにより、拡張情報のためのフィールドを、このビットストリームへ挿入することが可能である。]
[0012] 考えられる第２の解決策は、マルチチャネル付加情報を、使用されるオーディオ・コーディング・システムに結合させないことである。この場合、マルチチャネル拡張データが、実際のオーディオ・データ・ストリームに結合させられることがない。その代わりに、送信は、例えば並列なデジタル付加チャネルであってよい特定の追加のチャネル（ただし、必ずしも時間的に同期させられている必要はない）によって実行される。例えば、このような状況は、ダウンミックスデータ（すなわち、オーディオ信号）が、例えばＡＥＳ／ＥＢＵデータフォーマットによるＰＣＭデータとして、データ削減されていない形態で、スタジオに存在する一般的なオーディオ配信インフラストラクチャを通って送られる場合に生じる。これらのインフラストラクチャは、種々のソース（「クロスバー」）の間でオーディオ信号をデジタルで配信することを目的とし、及び／又はオーディオ信号を例えばサウンド調節、動的圧縮などによって処理することを目的とする。]
[0013] 上述した考えられる第２の解決策では、受信機においてダウンミックスオーディオ信号及びマルチチャネル付加情報の時間ずれの問題が生じる可能性がある。なぜならば、両方の信号が、別々の非同期のデータ経路を通過するからである。しかしながら、ダウンミックス信号と付加情報との間の時間ずれは、再現されるマルチチャネル信号の音質の低下をもたらす。なぜならば、再生側において、オーディオ信号が、実際にはそのオーディオ信号に属するのではなく、そのオーディオ信号の先行部分もしくは後続部分又は先行ブロックもしくは後続ブロックに属するマルチチャネル拡張データと一緒に処理されてしまうからである。]
[0014] 受信されたオーディオ信号及び付加情報から時間ずれの程度を割り出すことはもはや不可能であるため、受信機においてマルチチャネル信号について時間的に正確な再現及び関連付けが保証されず、結果として品質の低下につながる。]
[0015] この状況のさらなる例は、例えばデジタルラジオの受信機を考えるときなど、すでに動作している２チャネルの伝送システムをマルチチャネルの伝送へ拡張すべき場合である。ここで、多くの場合に、ダウンミックス信号のデコードが、例えばＭＰＥＧ４規格によるステレオ・オーディオ・デコーダなど、受信機にすでに存在するオーディオデコーダによって実行されることが多い。このオーディオデコーダの遅延時間は、システムに内在するオーディオ信号のデータ圧縮に起因して、必ずしも既知でなく、又は必ずしも正確に予測できるわけではない。したがって、このようなオーディオデコーダの遅延時間を確実に補償することはできない。]
[0016] 極端な場合には、オーディオ信号が、アナログ部分を含む伝送回路を介してマルチチャネル・オーディオ・デコーダに達する可能性もある。ここで、伝送における特定の点でデジタル／アナログ変換が行われ、その後に、さらなる記憶／伝送の後で、再度のアナログ／デジタル変換が行われる。ここでも、マルチチャネル付加データに対するダウンミックス信号の遅延について、どのように適切な補償を実行できるのかに関して、いかなる目安もない。アナログ／デジタル変換及びデジタル／アナログ変換におけるサンプリング周波数がわずかに相違するだけでも、２つのサンプリングレートの互いの比に応じて、必要な補償の遅延にゆっくりとした時間のドリフトが生じる。]
[0017] 独国特許第DE 10 2004 046 746 B4号が、付加データ及びベースデータを同期させるための方法及び装置を開示している。ユーザが、自身のステレオデータに基づいてフィンガープリントを提供する。拡張データサーバが、得られたフィンガープリントに基づいてステレオ信号を特定し、このステレオ信号の拡張データを検索するためにデータベースにアクセスする。特に、サーバが、ユーザに存在するステレオ信号に対応する理想的なステレオ信号を特定し、拡張データに属する理想的なオーディオ信号の２つの試験フィンガープリントを生成する。次いで、これら２つの試験フィンガープリントがクライアントへ供給され、クライアントが、それらから圧縮／展開係数及び基準オフセットを決定する。基準オフセットに基づいて、付加チャネルが展開／圧縮され、開始及び終了において切断される。その後、ベースデータ及び拡張データを使用することによって、マルチチャネルファイルを生成することができる。]
[0018] 一般的に言うと、フィンガープリント技術は、オーディオ信号にとって特有でなければならない。他方で、フィンガープリント技術は、オーディオ信号の高度に圧縮された表現でもなければならない。すなわち、フィンガープリントは、オーディオ信号そのものよりもはるかに少ないメモリ空間しか使用することができない。さもないと、フィンガープリントの生成及びフィンガープリントの使用が、無益になりかねない。]
[0019] 他方で、フィンガープリントは、一方では同期の目的に適し、他方では識別の目的に適するために、オーディオ信号の時間曲線を再現しなければならない。特に、識別又は特徴付けの目的に関して、ラジオの放送など、オーディオ信号が曲の全体を再生せず、曲の特定の時点から再生を開始し、おそらくは曲が終わるよりも前に放送が停止されるという状況が頻繁に存在する。しかしながら、フィンガープリントの生成は、きわめて損失の多い圧縮と考えられるため、フィンガープリントが解凍可能である必要はない。]
[0020] フィンガープリント情報は、付加情報であるため、上述のように、可能な限り圧縮されているが依然として特徴的である表現でなければならない。圧縮表現のさらなる利点は、表現がより圧縮されているほど、例えばオーディオ信号の同期又は特徴付けなど、相関の取り扱い、すなわちフィンガープリントが関係する計算方法が、より高速かつ容易に実行される点にある。]
発明が解決しようとする課題

[0021] 本発明の目的は、効率的なフィンガープリントの考え方を提供することにある。]
課題を解決するための手段

[0022] この目的は、請求項１に記載のオーディオ信号のフィンガープリントを計算するための装置、請求項１５に記載のオーディオ信号のフィンガープリントを計算するための方法、請求項１１に記載の同期のための装置、請求項１６に記載の同期のための方法、請求項１４に記載の試験オーディオ信号の特徴付けのための装置、請求項１７に記載の試験オーディオ信号の特徴付けのための方法、又は請求項１８に記載のコンピュータプログラムによって達成される。]
[0023] 本発明は、上手く圧縮されたフィンガープリントが、オーディオ信号のブロック処理によって得られ、すなわち１つのフィンガープリント値が、オーディオ信号のブロックごとに導出されるという知見に基づいている。さらに、ブロックからブロックへのこのフィンガープリント値の推移が、オーディオ信号についてきわめて特徴的であることが明らかになっている。したがって、差分コーディングという意味において、単に２値的に変化を特徴付けるために、連続するフィンガープリント値の比較が、連続するブロックについて実行される。第１のフィンガープリント値が第２のフィンガープリント値よりも大きい場合に、第１のバイナリ値が割り当てられる一方で、第２のフィンガープリント値が第１のフィンガープリント値よりも大きい場合には、別の第２のバイナリ値が割り当てられる。このバイナリ値の列が、オーディオ信号のフィンガープリントとして出力される。好ましくは、この変化が、わずかにただ１つのビットによって量子化される。この１ビットの量子化によって、わずかにただ１ビットのフィンガープリント情報がオーディオ信号のブロックごとにもたらされ、オーディオ信号が単純なビット列によって表わされ、これによって対応する試験ビット列との高速、効率的、かつきわめて正確な相関を実行することができる。]
[0024] オーディオ信号は、特徴がブロックからブロックへとそれほど大きくは変化しないという特性を有しており、したがってフィンガープリント値の完全な量子化（例えば、８ビットの量子化又は１６ビットの量子化）は、絶対に必要というわけではない。さらに、オーディオ信号は、或るブロックから次のブロックへのフィンガープリント値の変化が、オーディオ信号をきわめてよく表わすという特性を有している。好ましい１ビットの量子化によって、或るブロックから次のブロックへのこの変化が、きわめて強調される。このように、オーディオ信号は、特に、フィンガープリント値が或るブロックから次のブロックへとそれほど大きくは変化しないという特性を有している。しかしながら、フィンガープリントの処理の目的にとくに必要とされ、本発明の１ビットの量子化によって効果的に使用されるオーディオ信号の特徴情報は、この小さな変化の中に埋め込まれている。]
[0025] 特に、フィンガープリント値がエネルギーに依存又はパワーに依存する値である場合、１つのブロックから次のブロックへの変化は比較的小さいが、特にブロックが５,０００未満のサンプル（特に、２,０００未満のサンプル）の範囲及び５００超のブロックで形成される場合、エネルギーに依存又はパワーに依存する値の１つのブロックから次のブロックへの変化は、オーディオ信号の特徴をとくによく表わす。]
[0026] 本発明のフィンガープリントを、マルチチャネル拡張データをオーディオ信号に同期させるために特に好都合な様相で使用することができ、同期がブロック基準のフィンガープリント技術によって効率的かつ確実に達成される。]
[0027] ブロックごとのやり方で計算されたフィンガープリントがオーディオ信号の良好かつ効率的な特徴を示すことが、発見されている。しかしながら、同期を１ブロック長よりも細かいレベルにするために、オーディオ信号に、同期の際に検出され、フィンガープリントの計算に使用することができるブロック分割情報を備えることが好ましい。]
[0028] 好ましくは、オーディオ信号が、同期のときに使用することができるブロック分割情報を含む。これにより、同期の際にオーディオ信号から導出されるフィンガープリントが、マルチチャネル拡張データに関連付けられたオーディオ信号のフィンガープリントと同じブロック分割又は同じブロックラスタ化に基づくことが保証される。特に、マルチチャネル拡張データが、基準オーディオ信号フィンガープリント情報の列を含んでいる。この基準オーディオ信号フィンガープリント情報は、マルチチャネル拡張データのブロックと、このマルチチャネル拡張データが属するオーディオ信号の部分又はブロックとの間に、マルチチャネル拡張ストリームにつきものの関連付けを提供する。]
[0029] 同期のために、基準オーディオ信号フィンガープリントが、マルチチャネル拡張データから抽出され、同期部によって計算された試験オーディオ信号フィンガープリントと相関させられる。ブロック分割情報を使用することで、フィンガープリントの２つの列が基づくブロックラスタ化がすでに同一であるため、相関部は、単にブロック相関を達成すればよい。]
[0030] これにより、単にフィンガープリントの列をブロックレベルで相関させればよいという事実にもかかわらず、マルチチャネル拡張データについて、オーディオ信号とのほぼサンプル的に正確な同期を得ることができる。]
[0031] オーディオ信号に含まれるブロック分割情報を、例えばオーディオ信号のヘッダにおいて、明示的なサイド情報として述べることができる。あるいは、たとえデジタルではあるものの非圧縮の送信が存在する場合でも、このブロック分割情報をやはりサンプル（例えば、マルチチャネル拡張データに含まれる基準オーディオ信号フィンガープリントを計算するために形成されたブロックの最初のサンプル）に含ませることが可能である。これに代え、あるいはこれに加えて、ブロック分割情報を、例えば透かしの埋め込みによって、オーディオ信号そのものへ直接導入することも可能である。これには、疑似ノイズ列がとくに適しているが、透かしの埋め込みのさまざまなやり方を、ブロック分割情報をオーディオ信号へ導入するために使用することができる。この透かしの実施例の利点は、アナログ／デジタル又はデジタル／アナログ変換が重大でない点にある。さらに、データ圧縮に対して堅固で、圧縮／解凍又はタンデム／コーディング段階にも耐え、同期の目的のための信頼できるブロック分割情報として使用することができる透かしが存在する。]
[0032] これに加え、基準オーディオ信号フィンガープリント情報を、直接的にブロックごとにマルチチャネル拡張データのデータストリームへ埋め込むことが好ましい。この実施の形態において、適切な時間ずれの発見は、マルチチャネル拡張データとは別に保存されることのないデータフィンガープリントをもつフィンガープリントを使用することによって達成される。その代わり、マルチチャネル拡張データのすべてのブロックについて、そのフィンガープリントが、このブロックそのものに埋め込まれる。しかしながら、また、基準オーディオ信号フィンガープリント情報を、マルチチャネル拡張データに関連付けるが、別のソースから生じさせることができる。]
[0033] 本発明の好ましい実施の形態を、添付の図面を参照して、以下で詳しく説明する。]
図面の簡単な説明

[0034] マルチチャネル拡張データとの同期が可能な出力信号をもたらすためにオーディオ信号を処理するための本発明の一実施の形態による装置のブロック図である。
図１のフィンガープリント計算部の詳細図である。
本発明の一実施の形態による同期のための装置のブロック図である。
図３Ａの補償部の詳細図である。
ブロック分割情報を有するオーディオ信号の概略図である。
フィンガープリントがブロックに関して埋め込まれているマルチチャネル拡張データの概略図である。
透かしを有するオーディオ信号を生成するための透かし埋め込み部の概略図である。
ブロック分割情報を抽出するための透かし抽出部の概略図である。
例えば試験ブロック分割の３０個のブロックにまたがる相関後に現れる結果を示す概略図である。
異なるフィンガープリントの計算の選択肢を説明するためのフロー図である。
本発明の処理装置を備えるマルチチャネルエンコーダの筋書きを示す図である。
発明の同期部を備えるマルチチャネルデコーダの筋書きを示す図である。
図９のマルチチャネル拡張データ計算部の詳細図である。
図１１Ａに示した構成によって生成することができるマルチチャネル拡張データを有するブロックの詳細図である。] 図１ 図１１Ａ 図３Ａ 図９
実施例

[0035] 図１はオーディオ信号を処理するための装置の概略図を示している。ブロック分割情報を有するオーディオ信号が符号１００として示されている。一方、符号１０２として示されるオーディオ信号は、ブロック分割情報を含んでいなくてもよい。オーディオ信号を処理するための図１の装置は、図９に関して詳述されるエンコーダの筋書きにおいて使用することが可能であるが、基準オーディオ信号フィンガープリント情報の列を得るために複数の連続するブロックについてオーディオ信号のブロックごとに１つのフィンガープリントを計算するためのフィンガープリント計算部１０４を備えている。フィンガープリント計算部は、所定のブロック分割情報１０６を使用するように実現される。所定のブロック分割情報１０６を、例えば、ブロック分割情報を有するオーディオ信号１００からブロック検出部１０８によって検出することができる。ブロック分割情報１０６が検出されるとすぐに、フィンガープリント計算部１０４が、オーディオ信号１００から基準フィンガープリントの列を計算することができる。] 図１ 図９
[0036] フィンガープリント計算部１０４がブロック分割情報を持たないオーディオ信号１０２を得る場合には、フィンガープリント計算部は、任意のブロック分割を選択し、最初にブロック分割を実行する。このブロック分割が、ブロック分割情報１１０を介してブロック分割情報埋め込み部１１２へ伝えられる。ブロック分割情報埋め込み部１１２は、ブロック分割情報を持たないオーディオ信号１０２へブロック分割情報１１０を埋め込むように実現されている。ブロック分割情報埋め込み部は、出力側に、ブロック分割情報を有するオーディオ信号１１４を供給し、このオーディオ信号を、例えば１１８で概略的に示されているように、出力インターフェイス１１６を介して出力することができ、あるいは別途保存又は出力インターフェイス１１６を経由する出力とは別個独立の他の経路を介して出力することができる。]
[0037] フィンガープリント計算部１０４は、基準オーディオ信号フィンガープリント情報１２０の列を計算するように実現されている。この基準オーディオ信号フィンガープリント情報の列が、フィンガープリント情報埋め込み部１２２へ供給される。フィンガープリント情報埋め込み部が、基準オーディオ信号フィンガープリント情報１２０を、マルチチャネル拡張データ１２４（別途供給されることができ、あるいはマルチチャネルオーディオ信号１２８を入力側にて受け取るマルチチャネル拡張データ計算部１２６によって直接計算されてもよい）へ埋め込む。フィンガープリント情報埋め込み部１２２は、その出力側に、関連する基準オーディオ信号フィンガープリント情報が組み合わせられたマルチチャネル拡張データ（１３０によって示されている）を供給する。フィンガープリント情報埋め込み部１２２は、擬似的にブロックレベルで、マルチチャネル拡張データへ直接的に基準オーディオ信号フィンガープリント情報を埋め込むように実現されている。これに代え、あるいはこれに加えて、フィンガープリント情報埋め込み部１２２は、マルチチャネル拡張データのブロックとの関連付けに基づいて、基準オーディオ信号フィンガープリント情報の列を保存又は供給もする。マルチチャネル拡張データのこのブロックは、オーディオ信号のブロックと一緒に、マルチチャネルオーディオ信号又はマルチチャネルオーディオ信号１２８のかなり良好な近似を表わす。]
[0038] 出力インターフェイス１１６は、埋め込みされたデータストリーム内におけるように、基準オーディオ信号フィンガープリント情報の列とマルチチャネル拡張データとを独特に関連付けて含んでいる出力信号１３２を出力するように実現される。あるいは、出力信号は、基準オーディオ信号フィンガープリント情報を持たないマルチチャネル拡張データのブロックの列であってもよい。その場合、フィンガープリント情報は、例えば各々のフィンガープリントが連番のブロック番号によってマルチチャネル拡張データのブロックへ「接続」されている別のフィンガープリント情報の列にて供給される。列の間接的な信号伝達によるなど、フィンガープリントデータとブロックとの別の関連付けも、適用可能である。]
[0039] さらに、出力信号１３２は、ブロック分割情報を有するオーディオ信号も含むことができる。放送などの特定の用途の場合には、ブロック分割情報を有するオーディオ信号が、別の経路１１８に沿って伝えられる。]
[0040] 図２はフィンガープリント計算部１０４の詳細図を示している。図２に示した実施の形態において、フィンガープリント計算部１０４は、基準オーディオ信号フィンガープリント情報１２０の列をもたらすために、ブロック形成手段１０４ａ、下流のフィンガープリント値計算部１０４ｂ、及びフィンガープリントポストプロセッサ１０４ｃを備えている。ブロック形成手段１０４ａは、第１のブロック形成を実際に実行するときに、保存／埋め込み１１０へブロック分割情報を供給するように実現される。しかしながら、オーディオ信号がブロック分割情報をすでに有している場合には、ブロック形成手段１０４ａを、所定のブロック分割情報１０６にしたがってブロック形成を実行するように制御することができる。] 図２
[0041] ブロック分割情報の使用とは無関係に、きわめて良好、特徴的、かつ有効なフィンガープリントが、例えば図２に示されているようなオーディオ信号のフィンガープリントを計算するための装置によって得られる。ブロック形成手段１０４が、オーディオ信号をサンプルの連続ブロックへ分割するための手段を表わしている。さらに、フィンガープリント値の計算１０４ｂが、その連続ブロックの第１のブロックの第１のフィンガープリント値及びその連続ブロックの第２のブロックの第２のフィンガープリント値を計算するための手段として効果的である。] 図２
[0042] 図３Ａのフィンガープリント相関部３１２が、第１のフィンガープリント値が第２のフィンガープリント値と比較される図８の８０６に示されているような比較のための手段を表わしている。比較のための手段８０６の好ましい実施例は、図８に基づいて説明されるとおり、差の形成からなる。なぜならば、差の結果の符号に基づいて、第１のフィンガープリント値が第２のフィンガープリント値よりも大きかったか、又は小さかったかを、判断することができるからである。] 図３Ａ 図８
[0043] 図２のフィンガープリントポストプロセッサ１０４ｃが、本発明によれば、好ましくは１ビットの量子化８１４を実行するように実現され、又は一般的には、第１のフィンガープリント値が第２のフィンガープリント値よりも大きい場合に第１のバイナリ値を割り当て、第１のフィンガープリント値が第２のフィンガープリント値よりも小さい場合には第２のバイナリ値を割り当てるように実現される。] 図２
[0044] 最後に、フィンガープリントを計算するための本発明の装置は、オーディオ信号のフィンガープリントとしてバイナリ値の列についての情報を出力するための手段を備えており、この手段は、例えば図１の出力インターフェイス１１６の形態で実現可能であり、又は任意の他のデータストリームもしくはビットストリームライターとして動作することができる。] 図１
[0045] 好ましくは、２つのバイナリ値、すなわち第１のバイナリ値及び第２のバイナリ値は、互いに相補的である。図８に示した好ましい１ビットの量子化の例（ブロック１０８、１１４）では、第１のバイナリ値が、例えば０又は１であり、第２のバイナリ値も、０又は１であり、第２の値が第１の値に対して相補的である。好ましくは、オーディオ信号のブロックごとに正確に１ビットが生成される１ビットの量子化が実行される。] 図８
[0046] その結果、ブロック８１４によって生成されたビットの列が、試験フィンガープリント又は基準フィンガープリントである。]
[0047] 図２のブロック分割手段１０４ａは、重なり合う連続的な隣接ブロックを形成し、あるいは例えば５０％の重なりを有する重なり合うブロックを形成するように実現される。さらに、ブロック形成手段１０４ａは、少なくとも５００以上のサンプルを有する時間サンプルを備えるオーディオ信号のブロック（好ましくは、５０００サンプル未満の長さである）を供給するように実現される。特に好ましくは、１０００〜２５００サンプルの間の範囲のブロックが使用され、特にフィンガープリント値の計算に周波数ベースの手段が使用される場合には、例えば１０２４サンプル又は２０４８サンプルが好ましい。より長いブロックが選択されるほど、オーディオ信号当たりのフィンガープリント情報のビットの要求が少なくなる。しかしながら、ブロックの長さが長くなると、フィンガープリントの意義が少なくなる。この理由で、例えば４４．１ＫＨｚというオーディオサンプリング周波数に関連することができる上述のブロック長が好ましいが、異なるサンプリングレートに関するそれぞれのブロック長も、１つのブロックが約１０ｍｓ〜約１００ｍｓのオーディオ信号の時間期間を含む限りにおいて、妥当な結果をもたらす。] 図２
[0048] 本発明のフィンガープリントを、好ましくは、図３に基づいて説明したように同期のために使用することができ、すでに１ブロック長程度の精度がブロック分割情報を使用することなく得られ、これをブロック分割情報を加えることによって１サンプルの範囲へと高めることができる。ブロックレベルの精度の同期で充分な用途の場合には、ブロック分割情報がなくとも、満足できる結果をすでに得ることができる。また、オーディオ信号の特徴付け又は特定というフィンガープリントのそれぞれの用途においても、試験フィンガープリント及び基準フィンガープリントの間のサンプルレベルの精度の同期は、必ずしも得る必要がない。]
[0049] 本発明の一実施の形態においては、オーディオ信号が、図４Ａに示されるとおり、透かしを備えて供給される。特に、図４Ａはサンプルの列を有するオーディオ信号を示しており、ブロックｉ、ｉ＋１、ｉ＋２へのブロック分割が概略的に図示されている。しかしながら、図４Ａに示した実施の形態においても、オーディオ信号そのものは、そのような明示的なブロック分割を含んでいない。その代わりに、すべてのオーディオサンプルが透かしの一部分を含むように、透かし４００がオーディオ信号に埋め込まれている。その透かしのこの一部分が、サンプル４０２について４０４として機械的に示されている。特に、透かし４００が、ブロック構造を透かしに基づいて検出できるように埋め込まれている。この目的のために、透かしは、例えば、図５に５００で示されているような既知の周期的な疑似ノイズ列である。この既知の疑似ノイズ列は、ブロック長に等しい周期長又はブロック長よりも長い周期長を有しているが、周期長がブロック長に等しく、あるいはブロック長程度であることが好ましい。] 図４Ａ 図５
[0050] 透かしを埋め込むために、最初に、図５に示されるとおり、オーディオ信号のブロック形成５０２が実行される。次いで、オーディオ信号のブロックが、時間／周波数変換５０４によって周波数領域へ変換される。同様に、既知の疑似ノイズ列５００が、時間／周波数変換５０６によって周波数領域へ変換される。その後に、心理音響モジュール５０８が、オーディオ信号ブロックの心理音響的なマスキングしきい値を計算する。心理音響学において知られているとおり、或る帯域の信号が、その帯域の信号のエネルギーが当該帯域についてのマスキングしきい値未満である場合に、オーディオ信号においてマスクされ、すなわち聞き取ることができない。この情報にもとづき、疑似ノイズ列のスペクトル表現について、スペクトルの重み付け５１０が実行される。これにより、結合部５１２に先立って、スペクトル的に重み付けされた疑似ノイズ列が、心理音響的なマスキングしきい値に対応した列を有するスペクトルを有する。次いで、この信号が、結合部５１２において、オーディオ信号のスペクトルに、スペクトル値ごとに組み合わせられる。結果として、結合部５１２の出力に、透かしが導入されてなるオーディオ信号ブロックが存在するが、透かしはオーディオ信号によってマスクされている。周波数／時間変換部５１４によって、オーディオ信号のブロックが時間領域へ再び変換され、図４Ａに示したオーディオ信号が、今やブロック分割情報を示す透かしを有して存在する。] 図４Ａ 図５
[0051] 多数の異なる透かし埋め込み方法が存在することに、注意すべきである。したがって、スペクトルの重み付け５１０を、例えば時間／周波数変換５０６が不要になるように、時間領域における二重動作によって実行することができる。]
[0052] さらに、結合５１２が時間領域において実行されるように、スペクトル的に重み付けされた透かしをオーディオ信号との結合に先立って時間領域へ変換することも可能であり、この場合、マスキングしきい値を変換なしで計算できるのであれば、時間／周波数変換５０４は必ずしも必要ではない。当然ながら、オーディオ信号又はオーディオ信号の変換長さとは無関係に使用されるマスキングしきい値の計算も、実行することができる。]
[0053] 既知の疑似ノイズ列の長さは、好ましくは１ブロック長に等しい。その結果、透かしの抽出のための相関が、とくに効率的かつ明確に機能する。しかしながら、より長い疑似ノイズ列も、疑似ノイズ列の周期長がブロック長以上である限りにおいて、使用することができる。さらに、より低いスペクトル帯又は中央のスペクトル帯など、特定の周波数帯にしかスペクトル部分を有さないように実現される、白色スペクトルを有さない透かしも、使用することができる。その結果、例えば透かしが、例えば省データレート伝送においてＭＰＥＧ４規格から公知の「スペクトル帯複製」技法によって、除去又はパラメータ化される上方の帯域だけには導入されないように、制御を行うことができる。]
[0054] 透かしの使用の代案として、ブロック分割を、例えばデジタルチャネルが存在するときに実行することもできる。その場合、図４のオーディオ信号のすべてのブロックを、例えばブロックの最初のサンプル値がフラグを得るようにマークすることができる。あるいは、例えば、ブロック分割を、フィンガープリントの計算に使用され、元のマルチチャネル・オーディオ・チャネルからマルチチャネル拡張データを計算するためにも使用されたオーディオ信号のヘッダにおいて伝えることができる。]
[0055] マルチチャネル拡張データの計算の筋書きを説明するために、以下で図９を参照する。図９は、マルチチャネルオーディオ信号のデータレートを削減するために使用されるエンコーダ側の筋書きを示している。５．１チャネルの筋書きが例として示されるが、７．１チャネル、３．０チャネル、又は他のマルチチャネルの筋書きも使用可能である。やはり公知であり、オーディオチャネルに代えてオーディオオブジェクトが符号化され、実際にマルチチャネル拡張データがオブジェクトの再現を可能にするデータである空間オーディオ・オブジェクト・コーディングのために、図９に示した基本的にバイナリの構造を使用することができる。いくつかのオーディオチャネル又はオーディオオブジェクトを有しているマルチチャネルオーディオ信号が、ダウンミックスオーディオ信号をもたらすダウンミキサ９００へ供給される。ダウンミックスオーディオ信号は、例えばモノラルダウンミックス又はステレオダウンミックスである。さらに、マルチチャネル拡張データの計算が、それぞれのマルチチャネル拡張データ計算部９０２において実行される。そこでは、マルチチャネル拡張データが、例えばＢＣＣ技法に従い、あるいはＭＰＥＧサラウンドという名称で知られている規格に従って、計算される。マルチチャネル拡張データとも称されるオーディオオブジェクトの拡張データの計算を、オーディオ信号１０２において行うこともできる。図１に示したオーディオ信号の処理のための装置が、これら公知の２つのブロック９００、９０２の下流に位置し、図９に示されているこの処理装置９０４が、図１に従い、例えばブロック分割情報を持たないオーディオ信号１０２をモノラルダウンミックス又はステレオダウンミックスとして受信し、さらにマルチチャネル拡張データを配線１２４を介して受信する。したがって、図１のマルチチャネル拡張データ計算部１２６が、図９のマルチチャネル拡張データ計算部９０２に相当する。処理装置９０４は、その出力側に、例えばブロック分割情報が埋め込まれてなるオーディオ信号１１８とともに、図１に１３２で示されているような、マルチチャネル拡張データと関連付け又は埋め込みされた基準オーディオ信号フィンガープリント情報とを一緒に有しているデータストリームを供給する。] 図１ 図９
[0056] 図１１Ａが、マルチチャネル拡張データ計算部９０２の詳細図を示している。特に、最初に、それぞれのブロック形成手段９１０において、マルチチャネルオーディオ信号の元のチャネルのブロックを得るために、ブロック形成が実行される。その後に、時間／周波数変換部９１２における時間／周波数変換が、ブロックごとに実行される。時間／周波数変換部は、サブバンドフィルタ処理、一般変換、あるいは特にＦＦＴ形式の変換を実行するためのフィルタバンクであってよく、別の変換は、ＭＤＣＴなどとしても知られている。その後に、チャネルと基準チャネルの間の個々の相関パラメータ（ＩＣＣ）が、帯域、ブロック、及び例えばチャネルごとに、マルチチャネル拡張データ計算部において計算される。さらに、個々のエネルギーパラメータＩＣＬＤが、帯域、ブロック及びチャネルごとに計算され、これは、パラメータ計算部９１４において実行される。ブロック形成手段９１０が、ブロック分割情報１０６がすでに存在する場合に、そのようなブロック分割情報を使用することに注意すべきである。あるいは、ブロック形成手段９１０が、最初のブロック分割が実行されるときにブロック分割情報そのものを決定し、次いでこれを出力し、例えば図１のフィンガープリント計算部を制御するために使用してもよい。図１の標記と同様に、出力されるブロック分割情報は、やはり１１０で示されている。一般に、マルチチャネル拡張データを計算するためのブロック形成は、図１のフィンガープリントの計算のためのブロック形成に同期して実行されることが保証される。これにより、オーディオ信号に対するマルチチャネル拡張データのサンプル的に正確な同期が得られることが保証される。] 図１ 図１１Ａ
[0057] パラメータ計算部９１４によって計算されたパラメータデータは、図１のフィンガープリント情報埋め込み部１２２と同じに実現することができるデータ・ストリーム・フォーマッタ９１６へ供給される。さらに、データ・ストリーム・フォーマッタ９１６が、９１８で示されるとおり、ダウンミックス信号のブロックごとのフィンガープリントを受信する。次いで、フィンガープリント及び受信したパラメータデータ９１５によって、データ・ストリーム・フォーマッタは、フィンガープリント情報が埋め込まれてなるマルチチャネル拡張データ１３０（その１つのブロックが、図１１Ｂに概略的に示されている）を生成する。特に、このブロックのフィンガープリント情報が９６０で示され、任意に存在する同期ワード９５０の後に入力される。次いで、フィンガープリント情報９６０の後に、パラメータ計算部９４０によって計算されたパラメータ９１５が続く。すなわち、例えば、最初にチャネル及びバンドごとのＩＣＬＤパラメータが現れ、次いでチャネル及びバンドごとのＩＣＣパラメータが続く図１１Ｂに示した列にてパラメータが続く。チャネルは、特に、「ＩＣＬＤ」の添え字によって伝えられ、添え字「１」が、例えば左チャネルを表わし、添え字「２」が中央チャネルを表わし、添え字「３」が右チャネルを表わし、添え字「４」が左後ろチャネル（ＬＳ）を表わし、添え字「５」が右後ろチャネル（ＲＳ）を表わす。] 図１ 図１１Ｂ
[0058] 一般に、これによって、オーディオ信号（すなわち、ステレオダウンミックス信号又はモノラルダウンミックス信号、あるいは総称的にはダウンミックス信号）のフィンガープリントがブロックのマルチチャネル拡張データ１２４に常に先行している図４Ｂに示したようなマルチチャネル拡張データを有するデータストリームがもたらされる。一実施例においては、１つのブロックのフィンガープリント情報を、マルチチャネル拡張データの後の伝送方向に挿入することもでき、あるいはマルチチャネル拡張データの間のどこかに挿入することもできる。代案として、フィンガープリント情報を、別のデータストリームで送信することもでき、又は例えば別のテーブルにて送信することもできる。そのテーブルは、例えば明示的なブロック識別子によってマルチチャネル拡張データに関連付けられているか、又はそのテーブルでは関連付けが間接的に与えられ、すなわち個々のブロックについてのマルチチャネル拡張データの順序に対するフィンガープリントの順序によって与えられている。明示的な埋め込みを有さない他の関連付けも、使用することができる。] 図４Ｂ
[0059] 図３Ａが、マルチチャネル拡張データをオーディオ信号１１４に同期させるための装置を示している。特に、オーディオ信号１１４が、図１に基づいて説明されるとおり、ブロック分割情報を含んでいる。これに加え、基準オーディオ信号フィンガープリント情報が、マルチチャネル拡張データに関連付けられている。] 図１ 図３Ａ
[0060] ブロック分割情報を有するオーディオ信号が、ブロック検出部３００へ供給され、ブロック検出部３００が、オーディオ信号内のブロック分割情報を検出し、検出したブロック分割情報３０２をフィンガープリント計算部３０４へ供給するように実現されている。さらに、フィンガープリント計算部３０４は、オーディオ信号を受信し、ここでは、ブロック分割情報を持たないオーディオ信号で充分であると考えられるが、フィンガープリント計算部を、フィンガープリントの計算にブロック分割情報を有するオーディオ信号を使用するように実現することもできる。]
[0061] 次に、フィンガープリント計算部３０４は、試験オーディオ信号フィンガープリント３０６の列を得るために、複数の連続するブロックについてオーディオ信号のブロックごとに１つのフィンガープリントを計算する。特に、フィンガープリント計算部３０４は、試験オーディオ信号フィンガープリント３０６の列を計算するためにブロック分割情報３０２を使用するように実現される。]
[0062] 本発明の同期装置又は本発明の同期方法は、さらにフィンガープリント抽出部３０８に基づいており、フィンガープリント抽出部３０８が、フィンガープリント抽出部３０８へ供給される基準オーディオ信号フィンガープリント情報１２０から基準オーディオ信号フィンガープリント３１０の列を抽出する。]
[0063] 試験フィンガープリント３０６の列及び基準フィンガープリント３０８の列の両方が、２つの列を相関付けるように実現されるフィンガープリント相関部３１２へ供給される。ブロック長（ΔＤ）の整数値（ｘ）であるオフセット値が得られる相関結果３１４にもとづき、補償部３１６が、マルチチャネル拡張データ１３２とオーディオ信号１１４との間の時間ずれを低減すべく（最良の場合には、除去すべく）制御される。補償部３１６の出力に、オーディオ信号及びマルチチャネル拡張データの両方が同期された形態で出力され、図１０を参照して後に説明されるマルチチャネルの再現へ供給される。] 図１０
[0064] 図３Ａに示した同期部が、図１０において１０００で示されている。図３Ａを参照して説明したとおり、同期部１０００は、オーディオ信号１１４及びマルチチャネル拡張データを非同期の形態で含んでおり、出力側のアップミキサ１１０２へオーディオ信号及びマルチチャネル拡張データを同期させた形態で供給する。「アップミックス」ブロックとも称されるアップミキサ１１０２は、次にオーディオ信号及びオーディオ信号に同期させられたマルチチャネル拡張データに基づいて、再現されるマルチチャネルオーディオ信号Ｌ’、Ｃ’、Ｒ’、ＬＳ’、及びＲＳ’を計算することができる。これらの再現されたマルチチャネルオーディオ信号は、図９のブロック９００の入力にて示したとおりの元のマルチチャネルオーディオ信号の近似を呈している。あるいは、図１０のブロック１１０２の出力における再現されたマルチチャネルオーディオ信号は、オーディオオブジェクトの符号化から公知のように、再現されたオーディオオブジェクト又は特定の位置においてすでに補正された再現されたオーディオオブジェクトも表わしている。今や、再現されたマルチチャネルオーディオ信号は、マルチチャネル拡張データのオーディオ信号との同期がサンプル的に正確なやり方で得られているという事実ゆえに、得ることができる最高の音質を有している。] 図１０ 図３Ａ 図９
[0065] 図３Ｂは補償部３１６の具体的な実施例を示している。補償部３１６は、２つの遅延ブロックを有しており、そのうちの一方のブロック３２０は、最大の遅延を有する固定の遅延ブロックであってよく、第２のブロック３２２は、ゼロに等しい遅延と最大の遅延Ｄmaxとの間で制御することができる可変の遅延を有するブロックであってよい。制御は、相関結果３１４に基づいて行われる。フィンガープリント相関部３１２が、１ブロック長（Δｄ）の整数値（ｘ）にて相関オフセットの制御をもたらす。本発明によれば、フィンガープリントの計算が、オーディオ信号に含まれるブロック分割情報に基づいて、フィンガープリント計算部３０４自身において実行されているという事実ゆえ、フィンガープリント相関部がブロックベースの相関付けを実行するだけで、サンプル的に正確な同期が得られる。フィンガープリントがブロックごとに計算されており、すなわちオーディオ信号の時間曲線、したがってマルチチャネル拡張データの時間曲線を、比較的粗い様相でのみ表わしているという事実にもかかわらず、マルチチャネル拡張データをブロックごとに計算するために使用され、とりわけマルチチャネル拡張データのストリームに埋め込まれ、あるいはマルチチャネル拡張データのストリームに関連付けられるフィンガープリントを計算するために使用されているブロック分割に関して、単にフィンガープリント計算部３０４のブロック分割が同期部において同期させられているという事実から、サンプル的に正確な相関付けが得られる。] 図３Ｂ
[0066] 補償部３１６の実施例に関して、相関結果３１４が両方の可変の遅延段階を制御するよう、２つの可変の遅延を使用してもよいことに注意すべきである。また、同期の目的のための補償部における別の実施の選択肢を、時間ずれを除去するために使用することができる。]
[0067] 以下で、図６を参照して、ブロック分割情報が透かしとしてオーディオ信号へ導入されているときの図３Ａのブロック検出部３００の詳しい実施例を説明する。図６の透かし抽出部を、図５の透かし埋め込み部に類似した構造にすることができるが、必ずしも正確に類似した様相の構造とする必要はない。] 図３Ａ 図５ 図６
[0068] 図６に示した実施の形態において、透かしを有するオーディオ信号が、オーディオ信号から連続的なブロックを生成するブロック形成部６００へ供給される。次いで、１つのブロックが、ブロックを変換するための時間／周波数変換部６０２へ供給される。ブロックのスペクトル表現にもとづき、あるいは別個の計算によって、心理音響モジュール６０４が、オーディオ信号のブロックにプレフィルタ処理を加えるためのマスキングしきい値を計算することができ、プレフィルタ６０６においてこのマスキングしきい値を使用することによってプレフィルタ処理が行われる。モジュール６０４及びプレフィルタ６０６の実施例は、透かしの検出精度を高めるように機能する。時間／周波数変換部６０２の出力が相関部６０８へ直接接続されるようにして、モジュール６０４及びプレフィルタ６０６を省略することも可能である。相関部６０８は、図５の透かしの埋め込みにおいてすでに使用された既知の疑似ノイズ列５００を、変換部５０２における時間／周波数変換の後で、オーディオ信号のブロックへ相関付けるように実現されている。] 図５ 図６
[0069] ブロック６００におけるブロック形成のために、必ずしも最終的なブロック分割に一致している必要はない試験ブロック分割があらかじめ定められる。その代わりに、今度は相関部６０８は、複数のブロック（例えば、２０以上のブロック）にまたがる相関を実行する。これにより、既知のノイズ列のスペクトルが、例えば図７に示されているようであってよい相関結果６１０が数ブロック後にもたらされるよう、相関部６０８において異なる遅延値のすべてのブロックのスペクトルと相関付けられる。制御部６１２が相関結果６１０を監視し、ピーク検出を実行することができる。この目的のため、制御部６１２は、相関に使用されるブロックの数が多くなるにつれてますます明らかになるピーク７００を検出する。相関ピーク７００が検出されるとすぐに、相関結果が示したｘ座標、すなわちオフセットΔｎのみを割り出さなければならない。本発明の実施の形態においては、このオフセットΔｎが、試験ブロック分割と透かしの埋め込みに実際に使用されたブロック分割との間のずれのサンプルの数を示している。この試験ブロック分割についての知見及び相関結果７００から、次に制御部６１２は、例えば図７に示した式に従って、訂正されたブロック分割６１４を割り出す。詳しくは、訂正済みのブロック分割６１４を計算するために、オフセット値Δｎが試験ブロック分割から引き算され、次いで訂正済みのブロック分割６１４が、試験フィンガープリントを計算するために、図３Ａのフィンガープリント計算部３０４によって保持される。] 図３Ａ 図７
[0070] 図６の典型的な透かし抽出部に関して、抽出を別の方法で、例えば周波数領域においてではなくて時間領域において実行してもよく、プレフィルタ処理を省略してもよく、遅延（すなわち、サンプルのオフセット値Δｎ）を計算するための別のやり方を使用できることに、注意すべきである。別の選択肢は、例えば、いくつかの試験ブロック分割を試験し、１つ又は複数のブロックの後に最良の相関結果をもたらす試験ブロック分割を使用することである。また、非周期的な透かし、すなわち１ブロック長よりも短くてもよい非周期的な列を、相関手段として使用することも可能である。] 図６
[0071] したがって、関連付けの問題を解決するために、本発明の好ましい実施の形態においては、送信機側及び受信機側における特定の手順が好ましい。送信機側において、時間変化可能な適切なフィンガープリント情報を、該当の（モノラル又はステレオの）ダウンミックスオーディオ信号から計算することができる。さらに、これらのフィンガープリントを、同期の助けとして、送信されるマルチチャネル付加データストリームへ定期的に入力することができる。これは、ブロックごとに管理される空間オーディオコーディング側情報におけるデータフィールドとして実行でき、あるいはフィンガープリント信号が容易に付加又は除去できるようにデータブロックの最初又は最後の情報として送信されるようなやり方で実行することができる。さらに、既知のノイズ列などの透かしを、送信されるオーディオ信号へ埋め込むことができる。これは、フレームの位相を割り出し、フレーム内部のオフセットを除去しようとする受信機を助ける。]
[0072] 受信機側においては、２段階の同期が好ましい。第１の段階において、受信されたオーディオ信号から透かしが抽出され、ノイズ列の位置が割り出される。さらに、フレーム境界を、それらのノイズ列ゆえに、位置によって割り出すことができ、したがってオーディオ・データ・ストリームを分割することができる。これらのフレーム境界又はブロック境界において、特徴的なオーディオの特徴、すなわちフィンガープリントを、送信機において計算されたように、ほぼ等しい部分にまたがって計算することができ、これが後の相関において結果の質を高める。第２の段階において、時間変化可能な適切なフィンガープリント情報が、該当のステレオオーディオ信号又はモノラルオーディオ信号、あるいは総称的にはダウンミックス信号から計算され、ダウンミックス信号は、ダウンミックス信号のチャネルの数がダウンミックス前の元のオーディオ信号のチャネル又は一般的にオーディオオブジェクトよりも少ない限りにおいて、３つ以上のチャネルを有することもできる。]
[0073] さらに、フィンガープリントを、マルチチャネル付加情報から抽出することができ、マルチチャネル付加情報と受信信号との間の時間ずれを、適切な公知の相関方法によって実行することができる。全体としての時間ずれは、フレームの位相及びマルチチャネル付加情報と受信オーディオ信号との間のオフセットで構成される。さらに、オーディオ信号及びマルチチャネル付加情報を、下流の能動的に調節される遅延補償段階によって、後のマルチチャネルデコーディングのために同期させることができる。]
[0074] マルチチャネル付加データを得るために、マルチチャネルオーディオ信号が、例えば固定のサイズのブロックへ分割される。それぞれのブロックにおいて、受信機にとっても既知のノイズ列が埋め込まれ、あるいは一般的には、透かしが埋め込まれる。同じラスタにおいて、信号の時間構造を可能な限り明確に特徴付けるために適したマルチチャネル付加データを得るために、フィンガープリントが同時にブロックごとに計算され、あるいは少なくとも同期させられる。]
[0075] これの１つの実施の形態は、オーディオブロックの現在のダウンミックスオーディオ信号の例えば対数形式、すなわちデシベル関連表現でのエネルギー含量を使用することである。この場合、フィンガープリントは、オーディオ信号の時間包絡線の指標である。送信される情報量を少なくするとともに、測定値の精度を高めるために、この同期情報を、ハフマンコーディング、適応スケーリング、及び量子化などの後の適切なエントロピーコーディングを用いて先のブロックのエネルギー値に対する差として表現することもできる。]
[0076] 図８を参照し、広くには図２を参照して、フィンガープリントを計算するための好ましい実施の形態を以下に説明する。] 図２ 図８
[0077] ブロック分割ステップ８００におけるブロック分割の後で、オーディオ信号は、連続するブロックにて存在する。その後に、フィンガープリント値の計算が、図２のブロック１０４ｂにしたがって実行され、フィンガープリント値は、例えば、ステップ８０２にて示されているように、ブロックごとの１つのエネルギー値であってよい。オーディオ信号がステレオオーディオ信号である場合、現在のブロックのダウンミックスオーディオ信号のエネルギー計算は、以下の式に従って実行される。] 図２
[0078] 特に、数字ｉを有する信号値Sleft（ｉ）が、オーディオ信号の左チャネルの時間サンプルを表わしている。Sright（ｉ）は、オーディオ信号の右チャネルのｉ番目のサンプルである。ここに示した実施の形態においては、ブロック長が、１１５２個のオーディオサンプルであるため、左及び右のダウンミックスチャネルの両方からの１１５３個のオーディオサンプル（ｉ＝０のサンプルを含む）が、それぞれ平方されて、合計される。オーディオ信号がモノラルのオーディオ信号である場合には、合計は省略される。オーディオ信号が、例えば３つのチャネルを有する信号である場合には、３つのチャネルからのサンプルの平方が合計される。さらに、計算に先立ってダウンミックスオーディオ信号の（意味のない）定常成分を取り除くことが好ましい。]
[0079] ステップ８０４において、好ましくは、エネルギーの最小の制限が、その後の対数表現ゆえに実行される。エネルギーのデシベル関連の評価のために、ゼロのエネルギーの場合に有用な対数計算がもたらされるよう、最小限のエネルギーオフセットＥoffsetがもたらされる。このｄＢでのエネルギーの指標は、１６ビットのオーディオ信号分解能において０〜９０（ｄＢ）の数字の範囲を記載する。したがって、ブロック８０４において、以下の式が実行される。]
[0080] 好ましくは、マルチチャネル付加情報と受信オーディオ信号との間の時間ずれを正確に割り出すために、絶対的なエネルギーレベルの値ではなく、むしろ信号の包絡線の傾斜又は急峻さが使用される。したがって、図３Ａのフィンガープリント相関部３１２における相関の測定のために、エネルギー包絡線の急峻さが使用される。技術的に言えば、この信号のずれは、以下の式に従って、先のブロックとのエネルギー値の差を形成することによって計算される。] 図３Ａ
[0081] 上記式から明らかであるとおり、Ｅdb(diff)が、２つの先行のブロックのエネルギー値の差の値のｄＢ表示である一方で、Ｅdbは、現在のブロック又は先行のブロックのｄＢでのエネルギーである。このエネルギーの差の形成が、ステップ８０６において実行される。]
[0082] このステップが、マルチチャネル拡張データに埋め込まれるフィンガープリントが差のコードされた値で構成されるように、例えばエンコーダにおいてのみ実行され、すなわち図１のフィンガープリント計算部１０４においてのみ実行されることに、注意すべきである。] 図１
[0083] 代案として、差の形成のステップ８０６を、純粋にデコーダ側において、すなわち図３Ａのフィンガープリント計算部３０４において、実行することも可能である。この場合、送信されるフィンガープリントが、差ではないコードされたフィンガープリントでのみ構成され、ステップ８０６による差の形成は、デコーダにおいてのみ実行される。この選択肢は、差形成ブロック８０６をまたぐ破線の信号の流れの線８０８によって表わされている。この後者の選択肢８０８は、フィンガープリントがダウンミックス信号の絶対エネルギーについての情報を依然として含んでいるという利点をもつが、わずかに長いフィンガープリントのワード長を必要とする。] 図３Ａ
[0084] ブロック８０２、８０４、８０６が、図２の１０４ｂによるフィンガープリント値の計算に属し、続くステップ８０８（増幅係数によるスケーリング）、８１０（量子化）、８１２（エントロピーコーディング）、又はブロック８１４での１ビットの量子化も、フィンガープリントポストプロセッサ１０４ｃによるフィンガープリントの事後処理に属する。] 図２
[0085] ブロック８０８による最適な変調のためのエネルギー（信号の包絡線）のスケーリング時に、このフィンガープリントの後の量子化において、数値範囲の最大限の利用と低エネルギー値における分解能の改善の両方が保証される。したがって、追加のスケーリング又は増幅が導入される。同じことを、固定又は静的な重み付け量として実現でき、あるいは包絡線信号に合わせた動的な増幅の調節によって実現することができる。静的な重み付け量と適応型の動的な増幅の調節との組み合わせも、使用可能である。特に、以下の式に従う。]
[0086] Ｅscaledは、スケーリング後のエネルギーを表わしている。Ｅdb(diff)は、ブロック８０６において差の形成によって計算されたｄＢでの差エネルギーを表わしており、Ａamplificationは、きわめて動的な増幅の調節の場合に時間ｔに依存することができる増幅係数である。増幅係数は、利用可能な数値範囲について可能な限り一様な変調を得るために、より大きい包絡線においてより小さくなり、より小さな包絡線においてより大きくなる点で、包絡線信号に依存する。増幅係数を、必ずしも明示的に送信しなくてもよいよう、特にフィンガープリント計算部３０４において、送信されたオーディオ信号のエネルギーを測定することによって再生することができる。]
[0087] ブロック８１０において、ブロック８０８によって計算されたフィンガープリントが量子化される。これは、フィンガープリントをマルチチャネル付加情報への入力のために準備するために実行される。この低減されたフィンガープリントの分解能が、ビットの必要性及び遅延検出の確実性に関する良好な妥協であることが示されている。特に、例えば下記の式に示すことができるように、２５５を超えるオーバーランを飽和特性曲線によって２５５という最大値に制限することができる。]
[0088] Ｅquantizedが、量子化されたエネルギー値であり、８つのビットを有する量子化指数を表わしている。Ｑ8bitsは、２５５を超える値に最大値２５５の量子化指数を割り当てる量子化演算である。９個以上のビットによるより細かい量子化又は７個以下のビットによるより粗い量子化も使用可能であり、量子化が粗いほど追加のビットの必要性が減少する一方で、より多くのビットによるより細かい量子化は、追加のビットの必要性を増すものの、精度も向上させることに、注意すべきである。]
[0089] その後に、ブロック８１２において、フィンガープリントのエントロピーコーディングを行うことができる。フィンガープリントの統計的特性を評価することによって、量子化後のフィンガープリントのビットの必要性をさらに減らすことができる。適切なエントロピー法は、例えばハフマンコーディングである。フィンガープリント値の統計的に異なる周波数を、異なるコード長によって表現することができ、したがって、平均において、フィンガープリントの説明のためのビットの必要性を減らすことができる。]
[0090] 次いで、エントロピー・コーディング・ブロック８１２の結果が、８１３で示されるように、拡張チャネル・データ・ストリームへ書き込まれる。あるいは、８１１で示されるように、エントロピーコーディングされていないフィンガープリントを、量子化された値としてビットストリームに書き込むことができる。]
[0091] ステップ８０２におけるブロックごとのエネルギー計算の代りに、ブロック８１８で示されるように、異なるフィンガープリント値を計算することができる。]
[0092] ブロックのエネルギーに代わるものとして、パワー密度スペクトルの波高因子（ＰＳＤｃｒｅｓｔ）を計算することができる。波高因子は、一般に、以下の式に典型的に示されるように、ブロック内の信号の最大値ＸＭａｘとブロック内の信号Ｘn（例えば、スペクトル値）の算術平均との間の商として計算される。]
[0093] さらに、より堅固な同期を得るために、他の方法を使用することが可能である。ブロック８０８、８１０、８１２による事後処理の代わりに、ブロック８１４にて示されるように、１ビットの量子化を、代替のフィンガープリント事後処理１０４ｃ（図２）として使用することができる。ここで、さらには、１ビットの量子化が、エンコーダにおいて８０２又は８１８によるフィンガープリントの計算及び差の形成の直後に実行される。これが、相関の精度を高めることができることが示されている。この１ビットの量子化は、新たな値が古い値よりも大きい（傾斜が正）の場合にフィンガープリントが１に等しく、傾斜が負である場合に−１に等しいように実現される。負の傾斜は、新たな値が古い値よりも小さい場合に実現される。] 図２
[0094] 本発明の好ましい１ビットの量子化は、フィンガープリント相関部３１２における相関の計算を著しく簡単にする。試験フィンガープリント及び基準フィンガープリントがビット列であるという事実にもとづき、相関を、単純なＸＯＲ演算及びその後のＸＯＲ演算の結果のビットごとの合計へと単純化することができる。したがって、試験オーディオ信号フィンガープリント値の列及び基準オーディオ信号フィンガープリントの列の各々が、１ビット値の列であり、１ビットの各々がオーディオサンプルのブロックを表わす場合に、図３Ａのフィンガープリント相関部３１２は、試験オーディオ信号フィンガープリントの列のビット列及び基準オーディオ信号フィンガープリントのビット列を、ビットごとのＸＯＲ演算によって組み合わせ、得られたビット結果を合計するように実現される。この合計の結果が、第１の相関値を表わしている。ビット列は、例えば３２ビットの長さを有しており、又は例えば１０ビット〜１００ビットの間の長さを有している。] 図３Ａ
[0095] さらに、フィンガープリント相関部３１２は、試験オーディオ信号フィンガープリント又は基準オーディオ信号フィンガープリントの列のビット列を或るオフセット値によってずらし、それぞれの別の列にやはりビットごとのＸＯＲ演算によって組み合わせ、得られたビット結果を合計するように実現され、これによって第２の相関値がもたらされる。最大の相関値をもたらしたオフセット値において、試験フィンガープリント及び基準フィンガープリントが一致したと判断することができる。したがって、この特定のオフセット値において最大の相関値が与えられているため、このオフセット値が相関結果を表わしている。]
[0096] 同期結果の改善に加えて、この量子化は、フィンガープリントの送信に必要な帯域幅についても効果を有している。充分に正確な値をもたらすために、以前は少なくとも８ビットをフィンガープリントのために導入しなければならなかったが、ここではただ１つのビットで充分である。フィンガープリント及びその１ビットの対応物がすでに送信機において割り出されているため、実際のフィンガープリントが最大の分解能で存在しており、したがってフィンガープリント間の最小限の変化でさえも送信機及び受信機の両方において考慮できるため、差のより正確な計算が実現される。さらに、連続するフィンガープリントの大部分は最小限にしか異ならないことが明らかになっている。しかしながら、この差は、差の形成に先立つ量子化によって除かれるであろう。]
[0097] 実施例に応じて、ブロックごとの精度が充分である場合に、１ビットの量子化を、付加情報を有するオーディオ信号が存在するか否かとは無関係に、特定のフィンガープリント事後処理として使用することができる。なぜならば、差分コーディングに基づく１ビットの量子化そのものが、すでに堅固かつ依然として正確なフィンガープリント法であり、例えば識別又は分類の目的のためなど、同期以外の目的にも使用できるからである。]
[0098] 図１１Ａに基づいて説明したように、マルチチャネル付加データの計算は、マルチチャネルオーディオデータの助けによって実行される。計算されたマルチチャネル付加情報は、その後に、計算されたフィンガープリントの形態の新規追加の同期情報によって、ビットストリームへの適当な埋め込みによって拡張される。] 図１１Ａ
[0099] この好ましいワードマークとフィンガープリントの混成の解決策によれば、同期部が、ダウンミックス信号と付加データとの時間ずれを検出し、時間的に正しい適合、すなわちオーディオ信号とマルチチャネル拡張データとの間の遅延の補償を、＋／−１サンプル値という程度の大きさで実現することができる。これにより、マルチチャネルの関連付けが、受信機においてほぼ完璧に再現され、すなわち再現されるマルチチャネルオーディオ信号の品質に知覚可能な影響を有さないいくつかのサンプルのほとんど知覚できない時間差を除いて、再現される。]
[0100] 例えばフィンガープリント計算部１０４又はフィンガープリント計算部３０４によって、ブロック分割情報を使用し、あるいは使用せずに計算された本発明のフィンガープリントを、試験オーディオ信号の特徴付けのために使用することができる。すなわち、手段１０４又は３０４がそれぞれ、試験オーディオ信号から試験オーディオフィンガープリントの列を得るために設けられる。]
[0101] さらに、相関部３１２などの相関部が、バイナリ値の列を基準データベースに用意される種々の基準フィンガープリントと相関させるために設けられ、基準データベースは、すべての基準フィンガープリントについて、基準フィンガープリントに関連付けられたオーディオ信号についての情報を含んでいる。]
[0102] これらの種々の相関にもとづき、すなわち１ビットの周波数の列である試験オーディオ信号フィンガープリント及び基準データベースの種々の基準フィンガープリントの相関にもとづき、試験オーディオ信号についての情報に達することができる。]
[0103] 試験オーディオ信号についての情報は、例えばオーディオ信号の身元であり、例えば曲の名称、おそらくは作者の名称、この曲をどのＣＤ又はサウンド媒体において見つけることができるか、どこで注文できるか、などである。オーディオ信号の別の特徴付けは、例えば試験オーディオ信号を特定の様式的時期又は特定の様式のオーディオ信号として特定することであり、又は特定のバンドのものであると特定することである。そのような特徴付けを、例えば、基準フィンガープリントの試験フィンガープリントへの関連の様子又は２者の間に存在する距離を、定性的にだけでなく、定量的にも割り出すことによって行うことができる。このフィンガープリントの列の照合又はフィンガープリントの列の定量的な距離の計算を、例えば、基準フィンガープリント及び試験フィンガープリントの時間ずれをなくすために相関が行われたときに行うことができる。]
[0104] 状況に応じて、本発明の方法を、ハードウェア又はソフトウェアにおいて実現することができる。その実現は、デジタル記憶媒体（特に、ディスク、ＣＤ、又はＤＶＤ）において、本方法を実行するようにプログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号によって行うことができる。よって、一般的に、本発明は、コンピュータ上で実行されたときに本発明の方法を実行するための機械での読み取り可能な担体に保存されたプログラムコードを有しているコンピュータプログロム製品でも構成される。換言すると、本発明を、コンピュータ上で実行されたときに本方法を実行するためのプログラムコードを有しているコンピュータプログラムとして実現することができる。]

权利要求:

請求項1
オーディオ信号のフィンガープリントを計算するための装置であって、オーディオ信号をサンプルの連続ブロックに分割するための手段（１０４ａ）と、前記連続ブロックの第１のブロックの第１のフィンガープリント値及び前記連続ブロックの第２のブロックの第２のフィンガープリント値を計算するための手段（１０４ｂ）と、前記第１のフィンガープリント値を前記第２のフィンガープリント値と比較（８０６）するための手段と、前記第１のフィンガープリント値が前記第２のフィンガープリント値よりも大きい場合の第１のバイナリ値又は前記第１のフィンガープリント値が前記第２のフィンガープリント値よりも小さい場合の第２の別のバイナリ値を割り当て（８１４）するための手段と、バイナリ値の列についての情報を前記オーディオ信号のフィンガープリントとして出力するための手段（１０４ｃ）と、を備えている装置。
請求項2
前記割り当て（８１４）のための手段が、前記第１のバイナリ値に対して相補的であるバイナリ値を、第２の別の値としてとるように実現されている請求項１に記載の装置。
請求項3
前記第１のバイナリ値及び前記第２のバイナリ値が、まさに１ビットである請求項２に記載の方法。
請求項4
前記割り当て（８１４）のための手段が、第１のビット値を第１のバイナリ値として割り当て、該第１の値に対して相補的である第２のビット値を第２の別の値として割り当てるように実現されている請求項３に記載の装置。
請求項5
前記出力するための手段（１１６）が、ビットの列をフィンガープリントとして出力するように実現されている請求項１〜４のいずれか一項に記載の装置。
請求項6
前記比較（８０６）をするための手段が、前記第１のフィンガープリント値と前記第２のフィンガープリント値との間の差を計算するように実現されており、前記割り当て（８１４）のための手段が、前記差が０よりも大きい場合に前記第１のバイナリ値を割り当て、前記差が０よりも小さい場合に前記第２のバイナリ値を割り当てるように実現されている請求項１〜５のいずれか一項に記載の装置。
請求項7
前記分割するための手段（１０４ａ）が、隣接又は重なり合うブロックを連続ブロックとしてもたらすように実現されている請求項１〜６のいずれか一項に記載の装置。
請求項8
前記計算するための手段（１０４ｂ）が、第１又は第２のフィンガープリント値として、前記ブロックのエネルギー又はパワーに依存する量を計算するように実現されている請求項１〜７のいずれか一項に記載の装置。
請求項9
前記計算するための手段（１０４ｂ）が、ブロックごとに時間サンプルを平方及び合計し、該ブロックの前記第１又は第２のフィンガープリント値を得るように実現されている請求項１〜８のいずれか一項に記載の装置。
請求項10
前記計算するための手段（１０４ｂ）が、第１又は第２のフィンガープリント値として、前記ブロックのパワースペクトルの波高因子を計算するように実現されている請求項１〜８のいずれか一項に記載の装置。
請求項11
基準オーディオ信号フィンガープリント情報が関連付けられているマルチチャネル拡張データ（１３２）を、オーディオ信号（１１４）に同期させるための装置であって、請求項１〜１０のいずれか一項に記載のフィンガープリント計算部（３０４）と、前記マルチチャネル拡張データ（１３２）に関連付けられた前記基準オーディオ信号フィンガープリント情報から基準オーディオ信号フィンガープリントの列を抽出するためのフィンガープリント抽出部（３０８）と、前記試験オーディオ信号フィンガープリントの列及び前記基準オーディオ信号フィンガープリントの列を相関させるためのフィンガープリント相関部（３１２）と、相関の結果（３１４）に基づいて前記マルチチャネル拡張データ（１３２）と前記オーディオ信号との間の時間ずれを軽減又は除去するための補償部（３１６）と、を備えている装置。
請求項12
前記基準オーディオ信号フィンガープリント情報が、バイナリ値の列を含んでおり、前記フィンガープリント抽出部（３０８）が、前記マルチチャネル拡張データから前記バイナリ値の列を抽出するように実現されている請求項１１に記載の装置。
請求項13
前記試験オーディオ信号フィンガープリントの列及び前記基準オーディオ信号フィンガープリントの列が、それぞれ１ビット値の列であり、各１ビットが、オーディオサンプルの１ブロックに関連付けられており、前記フィンガープリント相関部（３１２）は、前記試験オーディオ信号フィンガープリントの列のビット列と前記基準オーディオ信号フィンガープリントのビット列とをビットごとのＸＯＲ演算によって組み合わせ、得られたビット結果を合計して第１の相関値を得、さらに前記試験オーディオ信号フィンガープリントの列又は前記基準オーディオ信号フィンガープリントのビット列を或るオフセット値だけずらした後、それぞれの別の列にビットごとのＸＯＲ演算によって組み合わせ、得られたビット結果を合計して第２の相関値を得、最大の相関値がもたらされたオフセット値を前記相関結果として選択するように実現されている請求項１１又は１２に記載の装置。
請求項14
試験オーディオ信号を特徴付けるための装置であって、請求項１〜１０のいずれか一項に記載の試験フィンガープリントを計算するための手段と、バイナリ値の列についての情報を、すべての基準フィンガープリントについてオーディオ信号についての情報を該基準フィンガープリントに関連付けて含んでいる基準データベースの種々の基準フィンガープリントと相関させるための手段と、前記相関に基づいて前記試験オーディオ信号についての情報をもたらすための手段と、を備えている装置。
請求項15
オーディオ信号のフィンガープリントを計算するための方法であって、オーディオ信号をサンプルの連続ブロックへと分割するステップ（１０４ａ）と、前記連続ブロックの第１のブロックの第１のフィンガープリント値及び前記連続ブロックの第２のブロックの第２のフィンガープリント値を計算するステップ（１０４ｂ）と、前記第１のフィンガープリント値を前記第２のフィンガープリント値と比較するステップ（８０６）と、前記第１のフィンガープリント値が前記第２のフィンガープリント値よりも大きい場合の第１のバイナリ値又は前記第１のフィンガープリント値が前記第２のフィンガープリント値よりも小さい場合の第２の別のバイナリ値を割り当てるステップ（８１４）と、バイナリ値の列についての情報を前記オーディオ信号のフィンガープリントとして出力するステップ（１０４ｃ）と、を含んでいる方法。
請求項16
基準オーディオ信号フィンガープリント情報が関連付けられているマルチチャネル拡張データ（１３２）を、オーディオ信号（１１４）に同期させるための方法であって、請求項１５に記載の方法に従ってフィンガープリントを計算するステップ（３０４）と、前記マルチチャネル拡張データ（１３２）に関連付けられた前記基準オーディオ信号フィンガープリント情報から基準オーディオ信号フィンガープリントの列を抽出（３０８）するステップと、前記試験オーディオ信号フィンガープリントの列及び前記基準オーディオ信号フィンガープリントの列を相関（３１２）させるステップと、相関の結果（３１４）に基づいて前記マルチチャネル拡張データ（１３２）と前記オーディオ信号との間の時間ずれを軽減（３１６）又は除去するステップと、を含んでいる方法。
請求項17
試験オーディオ信号を特徴付けるための方法であって、請求項１５に記載の方法に従って試験フィンガープリントを計算し、試験フィンガープリントとしてバイナリ値の列を得るステップと、バイナリ値の列についての情報を、すべての基準フィンガープリントについてオーディオ信号についての情報を該基準フィンガープリントに関連付けて含んでいる基準データベースの種々の基準フィンガープリントと相関させるステップと、前記相関に基づいて前記試験オーディオ信号についての情報をもたらすステップと、を含んでいる方法。
請求項18
コンピュータ上で実行されたときに請求項１５、１６、又は１７に記載の方法を実行するためのプログラムコードを有しているコンピュータプログラム。